Tiền thân là Đảng Xã hội (JSP) thành lập tháng 11 năm 1945, có cơ sở chủ yếu trong tầng lớp trí thức, có khuynh hướng xã hội dân chủ. Đến đầu 1990 là đảng đối lập lớn nhất trong Quốc hội. Do bị thất bại lớn trong bầu cử Hạ viện năm 1993, Đảng Xã hội Dân chủ buộc phải thay đổi hầu hết các chính sách cơ bản (về lực lượng tự vệ, Hiệp ước an ninh Nhật-Mỹ...) để liên minh với các đảng khác. Từ tháng 8 năm 1994 đến hết 1995, Đảng Xã hội Dân chủ liên minh với LDP và Shakigake để lập nội các do Chủ tịch Đảng Murayama làm Thủ tướng. Murayama là Thủ tướng đầu tiên của Nhật Bản đến thăm Việt Nam vào năm 1994 nối lại quan hệ Nhật - Việt từ sau 1945. Ngày nay nội bộ đảng ngày càng suy yếu, phân hóa nghiêm trọng. Do nhiều nghị sĩ đã bỏ đảng và gia nhập đảng Dân chủ (tháng 9 năm 1996), Đảng Xã hội Dân chủ hầu như bị tan rã và thất bại lớn trong bầu cử tháng 10 năm 1996, mất nửa số ghế. Hiện nay đảng này chiếm 7/480 ghế trong Hạ viện và 5 ghế trong Thượng viện.